背景和目标。域移位是机器学习模型的泛化问题，当训练集的数据分布与模型部署时遇到的数据分布不同时发生的机器学习模型。由于实验条件，设备和捕获设置的方差，这在生物医学图像分段的背景下是常见的。在这项工作中，通过研究肿瘤球状体分割的神经风格转移算法和未配对的图像到图像转换方法来解决这一挑战。方法。我们已经在Spheroid Semonation的上下文中展示了具有4个深入学习分段模型的域移位问题，该模型在训练分布后的图像测试时实现了超过97％的IOU，但在应用于捕获的图像时，其性能下降到84 \％在不同的条件下。为了解决这个问题，我们已经探索了3种风格传输算法（NST，深图象类比和光刻），以及6个未配对的图像到图像转换算法（Compygan，Dualgan，Forkgan，Ganilla，Cut和FastCut） 。这些算法已集成到高级API中，其促进其应用于发生域移位问题的其他上下文。结果。当应用于在不同条件下捕获的图像通过使用样式传输和图像到图像转换算法时，我们大大提高了4分段模型的性能。特别是，有2个样式传输算法（NST和深图谱）和1个未配对的图像到图像转换算法（Cyclegan），可在0.24至76.07的范围内改善模型的IOO。因此，在训练分布之后应用于使用模型获得的类似的性能。
translated by 谷歌翻译
表格是一种广泛类型的基于模板的文档，用于各种各样的领域，包括，等等，管理，医学，金融或保险。由于日常生成的形式增加，这些文件中包括的信息的自动提取大大要求。然而，由于具有不同形式实体位置的模板的巨大分集以及扫描文档的质量，因此在使用扫描形式时，这不是一项直接的任务，以及扫描文档的质量。在此上下文中，存在一个功能由所有形式共享：它们包含作为键值（或标签值）对构建的互连实体的集合以及其他实体，例如标题或图像。在这项工作中，我们通过基于BERT架构组合图像处理技术和文本分类模型来了解以形式的实体链接问题。这种方法实现了最先进的结果，在Funsd DataSet上的F1分数为0.80，关于最佳方法的提高5％。此项目的代码可在https://github.com/mavillot/funsd-entity-linking中获得。
translated by 谷歌翻译
在过去的几年中，几项计划开始以开放方式提供对研究输出数据和元数据的访问。这些举措开发的平台正在向更广泛的公众开放科学生产，这对于基于循证的科学，技术和创新（STI）的决策是宝贵的资产。这些资源确实可以促进知识发现，并帮助确定特定感兴趣的研究领域中可用的研发资产和相关参与者。理想情况下，为了全面了解整个Sti生态系统，应相应地组合和分析这些资源所提供的信息。为了确保这一点，应至少在数据源之间保证至少一定程度的互操作性，以便可以更好地汇总和补充数据，并且为决策提供的证据更加完整和可靠。在这里，我们研究了在整个丹麦STI生态系统中绘制气候行动研究的情况，是否是通过使用4个流行的Open Access STI数据源（即OpenAire，Open Alex，Cordis和Kohesio）的情况。
translated by 谷歌翻译
任务（SOT）控件允许机器人同时实现根据错误空间中（在）平等约束方面提出的许多优先目标。由于这种方法在每个时间步长求解了一系列二次程序（QP），而无需考虑任何时间状态的演变，因此适用于处理局部干扰。但是，其限制在于处理需要非二次目标才能实现特定目标的情况，以及应对控制干扰的情况，需要在本地进行次优的行动。最近的作品通过利用有限状态机器（FSM）来解决这一缺点，以使机器人不会陷入本地最小值的方式组成任务。然而，反应性和模块化之间的内在折衷是FSM的表征使它们在动态环境中定义反应性行为不切实际。在这封信中，我们将SOT控制策略与行为树（BTS）相结合，该任务切换结构在反应性，模块化和可重复使用方面解决了FSM的某些局限性。 Franka Emika Panda 7-DOF操纵器的实验结果显示了我们框架的稳健性，该框架使机器人可以从SOT和BTS的反应性中受益。
translated by 谷歌翻译
大多数现代语言模型推断出强大的表示既缺乏组成性和语义解释性。从假设很大一部分语义内容是相关的，我们引入了一种神经语言模型，该模型从文本数据集中发现符号网络（Schemata）。使用变分自动编码器（VAE）框架，我们的模型将句子编码为符号序列（组合表示），这些句子对应于偏见的随机步行者在全局潜在图上访问的节点。然后将句子生成后面，以所选符号序列为条件。我们首先证明该模型能够从随机令牌序列的人为生成的数据集中发现地面图形。接下来，我们分别以编码器和解码器为编码，利用预估计的BERT和GPT-2语言模型来培训我们的模型在语言建模任务上。从定性上讲，我们的结果表明该模型能够推断编码自然语言不同方面的模式网络。从数量上讲，该模型在VAE语言建模基准测试基准上实现了最先进的分数。可以在https://github.com/ramsesjsf/hiddenschemanetworks上获得复制我们实验的源代码。
translated by 谷歌翻译
语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
我们考虑了分布式随机优化问题，其中$ n $代理想要最大程度地减少代理本地函数总和给出的全局函数，并专注于当代理的局部函数在非i.i.i.d上定义时，专注于异质设置。数据集。我们研究本地SGD方法，在该方法中，代理执行许多局部随机梯度步骤，并偶尔与中央节点进行通信以改善其本地优化任务。我们分析了本地步骤对局部SGD的收敛速率和通信复杂性的影响。特别是，我们允许在$ i $ th的通信回合（$ h_i $）期间允许在所有通信回合中进行固定数量的本地步骤。我们的主要贡献是将本地SGD的收敛速率表征为$ \ {h_i \} _ {i = 1}^r $在强烈凸，convex和nonconvex local函数下的函数，其中$ r $是沟通总数。基于此特征，我们在序列$ \ {h_i \} _ {i = 1}^r $上提供足够的条件，使得本地SGD可以相对于工人数量实现线性加速。此外，我们提出了一种新的沟通策略，将本地步骤提高，优于现有的沟通策略，以突出局部功能。另一方面，对于凸和非凸局局功能，我们认为固定的本地步骤是本地SGD的最佳通信策略，并恢复了最新的收敛速率结果。最后，我们通过广泛的数值实验证明我们的理论结果是合理的。
translated by 谷歌翻译
我们解决了多梯队供应链中生产规划和分布的问题。我们考虑不确定的需求和铅，这使得问题随机和非线性。提出了马尔可夫决策过程配方和非线性编程模型。作为一个顺序决策问题，深度加强学习（RL）是一种可能的解决方案方法。近年来，这种类型的技术从人工智能和优化社区获得了很多关注。考虑到不同领域的深入RL接近获得的良好结果，对在运营研究领域的问题中造成越来越兴趣的兴趣。我们使用了深入的RL技术，即近端政策优化（PPO2），解决了考虑不确定，定期和季节性需求和常数或随机交货时间的问题。实验在不同的场景中进行，以更好地评估算法的适用性。基于线性化模型的代理用作基线。实验结果表明，PPO2是这种类型的问题的竞争力和适当的工具。 PPO2代理在所有情景中的基线都优于基线，随机交货时间（7.3-11.2％），无论需求是否是季节性的。在具有恒定交货时间的情况下，当不确定的需求是非季节性的时，PPO2代理更好（2.2-4.7％）。结果表明，这种情况的不确定性越大，这种方法的可行性就越大。
translated by 谷歌翻译
从Kaya Identity开始，我们使用了神经颂歌模型来预测若干与碳排放有关的指标的演变，以国家一级：人口，GDP人均GDP，能源强度的能量强度。我们将模型与基线统计模型进行比较 - var - 并获得了良好的性能。我们得出结论，这种机器学习方法可用于产生广泛的结果，并对政策制定者提供相关的洞察力
translated by 谷歌翻译
代表性是人类重新出现在外部和内部发生的事情的现实的方式。因此，作为通信手段的视觉表示使用元素来构建叙述，就像口头和书面语言一样。我们建议使用计算机分析来对参考流行病中使用的视觉创建中使用的元素进行定量分析，使用Covid Art Museum Instagram帐户编译的图像分析用于表示主观体验的不同元素关于全球活动。该过程已经通过基于机器学习的技术来执行以检测图像中的对象，使得该算法能够学习和检测每个研究图像中包含的物体。本研究表明，在图像中重复的元素，以创建叙述和在样本中建立的关联关系，尽管所有创建所需要的主观性，尽管所有创建需要的主观性，但何时存在某些共享和减少决策的参数选择要包含在可视表示中的对象
translated by 谷歌翻译